GeopoliticalQA: Benchmarking Retrieval and Generation over Intelligence Reports
GeopoliticalQA：情报报告检索与生成基准
🧭 RAG 检索与生成基准评测
Mantis Analytics
构建 415 份情报报告、5,525 条 QA 的地缘政治 RAG 基准，系统评估检索与生成
📌 工作参考价值（4 点）
- 在电商/Agent 知识检索场景中，chunk 级检索质量不必依赖超大 embedding 模型；中等规模开源编码器 bge-m3 可与大 10 倍模型持平且优于商业 API，可先用这类模型做成本可控的域内检索。
- 文档画像先行的问题生成 pipeline 可用于构建电商搜索/推荐领域的合成评测集：先对商品/报告进行结构化画像再生成问题，并配合 LLM-as-judge 做质量过滤，提升训练与评测数据可用性。
- 即使给定黄金证据，复杂推理类问题（对应商品选品、活动归因、风险判断等）仍是生成瓶颈；在 RAG Agent 中应加强多步推理、证据整合与结果校验，而非只优化召回。
- LLM-as-judge 协议验证数据集质量的方法可直接迁移到搜索 query 改写、推荐理由生成等任务的离线评估，减少人工标注成本。